Một số loài hóa thạch được biết đến, tất cả có nguồn gốc từ Châu Phi. Chúng tách biệt với bộ có ngoại hình tương tự Leptictida. Một sự đa dạng hóa đáng kể của các loài chuột chù voi đã xảy ra trong thế Paleogen. Một số, chẳng hạn như Myohyrax, có ngoại hình giống với loài đa man đến mức chúng ban đầu được bao gồm trong nhóm đó, trong khi các loài khác, như Mylomygale, tương đối giống loài gặm nhấm. Những dạng sinh vật bất thường này đều chết hết vào thế Pleistocen. Mặc dù các loài chuột chù voi đã được phân loại với nhiều nhóm, thường dựa trên các đặc điểm bề ngoài hời hợt, bằng chứng hình thái và phân tử đáng kể ngày nay đề xuất việc chúng được đặt trong nhóm Afrotheria, có lẽ gần với cơ sở của Paenungulata.